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Test Turinga dla (automatycznego) przekładu poezji 


W ostatnich latach, wraz z pojawieniem się programów opartych na sieciach 
neuronowych, jakość przekładu automatycznego znacząco się poprawiła. Twórcy 
programów twierdzą wręcz, że jest to jakość zbliżona do ludzkiej. Czy jest to 
prawda w odniesieniu do literatury pięknej, a zwłaszcza poezji — najwyższego 
wyrazu człowieczeństwa? Czy programy tłumaczeniowe są obecnie na tyle dobre, 
by generować przekłady mogące uchodzić za stworzone przez człowieka? Na te 
pytania postaram się udzielić odpowiedzi w niniejszym szkicu. 

Test Turinga to próba mająca określić, czy wytwór sztucznej inteligencji 
skutecznie udaje dzieło ludzkie. Alan Turing, wybitny matematyk i kryptolog, 
zaproponował w artykule z 1950 roku - Computing Machinery and Intelligence — 

„grę naśladowania” („the imitation game”): człowiek-sędzia porozumiewa się 
zdalnie z dwiema jednostkami, z których jedna jest człowiekiem, a druga kom- 
puterem. Może każdej z nich zadawać dowolne pytania, a na koniec wskazuje, 
która jest maszyną. Jeśli odpowie źle - maszyna wygrywa (Turing 433). Test 
Turinga przeszły pomyślnie między innymi wygenerowane komputerowo utwory 
muzyczne (Harari 377-379). 

Moim celem było sprawdzenie, czy możliwe jest, by przekład wiersza wy- 
glądający na dzieło ludzkie był w rzeczywistości wytworem komputera, a więc 
czy programy takie jak Google Translate, DeepL i Microsoft Bing są w stanie — 
w wyjątkowych przypadkach — stworzyć przekład, który mógłby uchodzić 
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za wykonany przez człowieka. Programy tłumaczeniowe nie są oczywiście 
zaprojektowane do tłumaczenia poezji. Spójrzmy, jakie ma to konsekwencje 
dla wersyfikacji. Za przykład niech posłuży haiku Jorge Luisa Borgesa (1981): 


La vasta noche 
no es ahora otra cosa 
que una fragancia. 


W moim tłumaczeniu brzmi ono następująco: 


Niezmierzona noc 
jest teraz niczym innym 
jak tylko wonią. 


Jeśli wprowadzimy tekst do programu Google Translate w oryginalnej, trzywer- 
sowej postaci, otrzymamy tłumaczenie, które nazywać będę wersją bazową (B): 


Ogromna noc 
teraz to już nie jest coś innego 
to zapach 


Tekst jest niekoherentny, ponieważ program traktuje każdy wers jako osobny 
akapit. Natomiast jeśli scalimy wszystkie wersy w jedno zdanie, tłumacz auto- 
matyczny „rozumie” całą myśl: 


La vasta noche no es ahora otra cosa que una fragancia. 
Ogromna noc jest teraz tylko zapachem. 


Jednak żeby tekst miał znamiona haiku, trzeba własnoręcznie ułożyć go z po- 
wrotem w wersy: 


Ogromna noc 
jest teraz 
tylko zapachem. 


Ten właśnie zabieg techniczny, polegający na scaleniu i ponownym ułoże- 
niu tekstu, będę nazywać rekonstrukcją wersową (i oznaczać symbolem R*). 
Tłumaczenie, z którym mamy tu do czynienia, zrekonstruowane wersowo, 
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jest poprawne. Oczywiście taka rekonstrukcja tylko wyjątkowo umożliwia 
uzyskanie poprawnego tekstu, bo tylko wyjątkowo zdarza się, że wiersz da się 
scalić w jedno zdanie lub w ciąg zdań. Naturalnie, poezja nie jest prozą pociętą 
na wersy — zależności między wersami, nadbudowane nad składnią zdania, 
stanowią o istocie wiersza. 

Kolejny tekst, The Red Wheelbarrow Williama Carlosa Williamsa, jeszcze 
dobitniej pokazuje różnicę jakościową pomiędzy wersją bazową (B) a rekon- 
struowaną (R*): 


The Red Wheelbarrow 


so much depends 
upon 


a red wheel 
barrow 


glazed with rain 
water 


beside the white 
chickens 


tłum. J. Hartwig 
Czerwona taczka 


tak wiele zależy 
od 


czerwonej 
taczki 


lśniącej 
po deszczu 


obok białych 
kurcząt 
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tłum. P. Sommer 
Czerwona taczka 


tak wiele zalezy 
od 


czerwonej 
taczki 


oblewanej 
deszczem 


obok bialych 
kurcząt 


tłum. Google Translate (B) 
Czerwona taczka 


tak wiele zależy 
na 


czerwone koło 
wózek 


szkliwione deszczem 
woda 


obok bieli 
kurczaki 
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tłum. Google Translate (R*) 
Czerwona taczka 


tak wiele zależy 
od 


czerwonej 
taczki 


oszklonej wodą 
deszczową 


obok białych 
kurcząt 


Pierwsze dwa przekłady zostały stworzone przez uznanych poetów i tłumaczy, 
Julię Hartwig (Williams 2009) i Piotra Sommera (Sommer). Trzeci to produkt 
Google Translate w wersji bazowej (B), a czwarty — w wersji zrekonstruowanej 
wersowo (R*). Wersja bazowa nie ma najmniejszych szans udawać przekładu 
wykonanego przez człowieka, natomiast wersja zrekonstruowana zaskakuje 
zbieżnością z przekładami tłumaczy-poetów. Różni się od nich jedynie trzecią 
strofą: „glazed with rain / water”. Hartwig przetłumaczyła ten dwuwers jako 
„lśniącej / po deszczu”, Sommer jako „oblewanej / deszczem”. Strofa Googlea (R*), 
„oszklonej wodą / deszczową”, oddana jest słowo w słowo, co demaskuje ją na tle 
przekładów wykonanych przez ludzi. Jednak sformułowanie to - choć oczywi- 
ście niezamierzone jako przekład poetycki — zasługuje na uwagę. „Rain water” 
to po angielsku wyrażenie dużo bardziej prototypowe niż po polsku „woda 
deszczowa, ale w wierszu ulega dezautomatyzacji dzięki charakterystycznej 
przerzutni „rain / water”. Sztuczność sformułowania „woda deszczowa” dobrze 
wpisuje się w schemat udziwnienia. Tłumaczenie Googlea (R*) ma też tę zaletę, 
że — podobnie jak oryginał oraz przekład Julii Hartwig — przedstawia scenę po 
deszczu, podczas gdy w tekście Sommera nadal pada. 

Nie sposób przy tym nie wspomnieć o błędzie, który powtarza się we 
wszystkich cytowanych tłumaczeniach: w wierszu Williamsa „chickens” to wszak 
„kury a nie „kurczęta”*. Wyrazisty obraz jest — jak to u imagistów — kluczową 
cechą tekstu. Pierwszorzędne znaczenie ma gra kolorów: „the red wheelbarrow’, 


1 Ten sam błąd pojawia się również w tłumaczeniach Leszka Elektorowicza (Williams 
1972) i Leszka Engelkinga (Williams 1985). 
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„the white chickens”. Ponieważ kurczeta są żółte, musi chodzić o kury. Wiedział 

to Stanisław Barańczak (Barańczak 92) (choć trzeba przyznać, że w kontekście 
minimalistycznej poetyki Williamsa nie zachwycają rozwlekłe sformułowania 
„wymytych deszczem do połysku” i „tuż obok stadka”): 


Czerwone taczki 


tak wiele 
zależy 


od taczek 
czerwonych 


wymytych deszczem 
do połysku 


tuż obok stadka 
białych kur 


Jak zwykle przy analizie kilku przekładów pojawia się pytanie, jak brzmia- 
łoby tłumaczenie uwzględniające wszystkie uwagi krytyczne wobec istniejących 
tekstów. Może tak: 


Czerwone taczki 


tak wiele zależy 
od 


czerwonych 
taczek 


lśniących deszczów- 
ką 


obok białych 
kur 


Wydaje się, że można by z powodzeniem użyć słowa „deszczówka, ponieważ 
zawiera ono w sobie słowo „deszczów, na skutek zgodności przypadka i liczby 
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odbierane przy pierwszej lekturze jako echo słowa „taczek”, co stwarza wrażenie 
enumeracji. Podobnie jak w oryginale „rain / water, przerzutnia „deszczów- / 
ką” wywołuje efekt zdziwienia i udziwnienia, zmuszając czytelnika do zwery- 
fikowania pierwotnych założeń interpretacyjnych. 

Wracając do translatorów automatycznych, można stwierdzić, że z Czer- 
wonymi taczkami sztuczna inteligencja poradziła sobie nieźle. Należy jednak 
podkreślić, że tłumaczenia złe są dużo bardziej prawdopodobne. Spójrzmy na 
inny wiersz Williamsa, The Right of Way, w dużo mniej fortunnych przekładach. 
Co ujawni złe tłumaczenie automatyczne zestawione ze złym tłumaczeniem 
stworzonym przez człowieka? 


The Right of Way 


In passing with my mind 
on nothing in the world 


but the right of way 
I enjoy on the road by 


virtue of the law — 
I saw 


an elderly man [...] 


tłum. Grzegorz Musiał 
Po prawicy drogi 


Jadąc z myślą wolną 
od spraw świata innych 


niż prawa strona drogi 
radosny jazdą zgodną 


z cnotą prawa — 
ujrzałem 


starszego mężczyznę [...] 
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tłum. DeepL (R*) 
Prawo drogi 


Przechodząc z umysłem 
na temat niczego na świecie 


oprócz prawa do korzystania z drogi, 
którą cieszę się na 


mocy prawa — 
zobaczyłem 


starszego mężczyznę [...] 


tłum. Google Translate (R*) 
Prawo pierwszeństwa 


Przechodząc z moim umysłem 
na nic na świecie, 


ale na prawo, 
które cieszę się w drodze na 


mocy prawa — 
widziałem 


starszego mężczyznę [...] 


Pierwsze tłumaczenie wykonał Grzegorz Musiał (1994), drugie wygenerował 
DeepL (R*), a trzecie — Google Translate (R*). Wszystkie trzy przekłady za- 
wierają sporo błędów — właściwie składają się z błędów. Jednak nie wszystkie 
usterki się powtarzają. W tekście Musiała da się zauważyć trzy błędy leksykalne 
i jeden gramatyczny. „Right of way” oznacza „pierwszeństwo (przejazdu), a nie 
„po prawicy drogi” (tak jak w tytule) i nie „prawa strona drogi” (jak w drugiej 
strofie). Zaś „by virtue of the law” to „na mocy prawa) a nie „cnota prawa. 
Wreszcie „Ihe right of way I enjoy on the road by virtue of the law” to „pierw- 
szeństwo, którym cieszę się na mocy prawa (lub: które przysługuje mi z mocy 
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prawa)”. Zatem w oryginale podmiot liryczny jedzie drogą z pierwszeństwem 
przejazdu i nic innego nie zaprząta mu głowy. W tłumaczeniu Musiała pod- 
miot koncentruje się na jeździe prawym pasem, uradowany, bo jedzie zgodnie 
z przepisami (z „cnotą prawa”). Przekłady DeepL i Googlea to całkowity bełkot 
(„Przechodząc z umysłem na temat niczego na świecie „Przechodząc z moim 
umysłem na nic na świecie”), ale przynajmniej programy poradziły sobie 
z frazeologizmem „by virtue of the law, a Google rozpoznał nawet „prawo 
pierwszeństwa, ale tylko w tytule. Krótko mówiąc, tłumacz-człowiek próbował 
kwieciście napisać to, co źle zrozumiał, a programy wygenerowały teksty, które 
brzmią eksperymentalnie (Googleowi wyszła nawet gra słów z „prawo”), ale 
są zupełnie bez sensu. Oczywiście można by próbować nadać im sens, tak jak 
czynią to niektórzy, interpretując „poezję generowaną przez komputer. Ale 
z przekładem nie miałoby to już wiele wspólnego. 

Widzieliśmy już zatem tłumaczenia automatyczne, które były niezłe, i takie, 
które były złe. A czy możliwy jest tekst naprawdę dobry? I to bez rekonstruk- 
cji wersowej? Musiałby to być wiersz, w którym każdy wers to nowe zdanie. 
Spójrzmy na inne haiku Borgesa (1981): 


El hombre ha muerto. 
La barba no lo sabe. 
Crecen las uńas. 


Z przekładów na język polski najbardziej udany wydaje się tekst Googlea (wer- 
sje BiR*): 


Mężczyzna umarł. 
Broda tego nie wie. 
Paznokcie rosną. 


Ten szczególny wiersz o śmierci nawiązuje do (błędnego) przekonania, że 
zmarłemu nadal rosną włosy i paznokcie. Przekład automatyczny jest w tym 
wypadku zupełnie prawidłowy, a wersja bazowa nie różni się niczym od wersji 
rekonstruowanej. Co więcej, całkiem przypadkowo układ sylab (5+6+5) jest pra- 
wie idealny (Borges przestrzegał w swoich haiku tradycyjnego schematu 5+7+5). 

Główny konkurent Googlea, DeepL, wygenerował świetny tekst angielski: 


The man is dead. 
The beard doesn't know. 
Nails grow. 
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Przypadkowo pojawia się rym „know” - „grow, który czyni tekst dobitniejszym, 
zwłaszcza że występuje w miejscu bardzo nasemantyzowanym. Oczywiście 
rym w przekładzie wiersza nierymowanego niekoniecznie musi być zaletą, 
jednak w tym wypadku niewątpliwie wzbogaca tekst, nie ujmując mu przy 
tym powagi. Uwagę czytelnika zwróci też z pewnością krótkość ostatniego 
wersu. Zaburzenie metryczne wywołuje efekt zawiedzionego oczekiwania: 
spodziewamy się kontynuacji, ale... jest już koniec. W wierszu o śmierci ma 
to szczególne znaczenie. 
Bardzo podobne tłumaczenie wygenerowal Microsoft Bing (B i R*): 


The man is dead. 
The beard doesn't know. 
Fingernails grow. 


Jedyna różnica względem wersji DeepL to „fingernails” zamiast „nails”. 
W tekście Binga występuje ten sam świetny rym. Układ sylab 4+5+4 nie od- 
powiada wprawdzie schematowi metrycznemu haiku, ale jest symetryczny, 
z dłuższym wersem środkowym. 

Powyższe dwa tłumaczenia na angielski nie wzbudzają podejrzeń — trudno 
byłoby zorientować się, że są komputerowe. Bardzo korzystny wydaje się brak 
dopełnienia w drugim wersie „la barba no lo sabe” / „the beard doesn't know’ 
(zamiast bardziej dosłownego sfromułowania „the beard doesn't know it”), 
zwłaszcza ze względu na rym „know” - „grow”. Niełatwo byłoby przy tym 
wskazać, który tekst jest lepszy. Z jednej strony tłumaczenie Binga jest bliższe 
schematowi haiku, z drugiej strony tłumaczenie DeepL jest w szczególny sposób 
poruszające (poza tym ,,nails” to również gwoździe, które wszak kojarzą się 
z trumną, a także z frazeologizmem the (final) nail in the coffin, czyli gwóźdź do 
trumny). Ocena, który z przekładów jest lepszy, byłaby więc kwestią subiektywną. 
Dylematem, który mógłby dotyczyć tłumaczeń wykonanych przez człowieka. 
I to jest chyba największy komplement, jaki może dostać tłumacz automatyczny. 

Widzimy zatem, że w pewnych wyjątkowych przypadkach jest możliwe, 
aby komputer przetłumaczył wiersz nie tylko prawidłowo, ale też w taki spo- 
sób, że przekład może być wzięty za dzieło człowieka. Ale czy taki tekst może 
być rozpatrywany w kategorii dzieła sztuki? Spór o to, czy wytwór maszyny 
może być uważany za dzieło sztuki, trwa od kilku dekad. Dla zwolenników 
takiego stanowiska kluczowy jest argument fenomenologiczny: sztuką jest to, 
co daje odbiorcy przeżycie artystyczne. W tym ujęciu doświadczenie odbiorcy 


> 


2 Główne argumenty w debacie podsumowuje Coeckelbergh 288-302. 
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legitymizuje wytwór maszyny jako dzieło sztuki. Ale nawet jeśli a priori od- 
rzucamy możliwość przypisania tekstowi maszynowemu statusu dzieła sztuki, 
a maszynie — statusu artysty, trzeba zauważyć, że przekład jest w tym kontek- 
ście zjawiskiem szczególnym. Nie jest to tekst wygenerowany maszynowo od 
zera. Przeziera spod niego tekst oryginalny, stworzony przez człowieka. Jest 
to więc wspólne dzieło człowieka i maszyny. Czy zatem współudział maszyny 
w powstaniu tekstu wyklucza przypisanie mu statusu dzieła sztuki? Czy od- 
wrotnie — współudział człowieka uprawnia do takiego zaszeregowania? Może 
jest to kwestia stopniowalna? A może intuicyjnie jesteśmy bardziej skłonni 
przypisać status dzieła sztuki tłumaczeniu automatycznemu, które powstało na 
bazie oryginału wysokiej jakości, niż takiemu, którego oryginał był co najwyżej 
średni? To są otwarte pytania, które daleko wykraczają poza zakres niniejszego 
artykułu, ale na które będzie trzeba szukać odpowiedzi wciąż od nowa, w miarę 
jak tłumaczenia automatyczne będą się stawały coraz lepsze. 

Sam status współautorstwa maszynowo-ludzkiego jest niedookreślony. 
Czy należy się liczyć z wolą autora? Większość pisarzy zapewne życzy sobie 
przekładu, ale czy równie chętnie zgodzą się oni na przekład automatyczny? 
Jakie są kompetencje autorskie* tłumacza automatycznego? I jaką rolę odgrywa 
osoba, która podejmuje decyzję o wprowadzeniu tekstu do programu tłu- 
maczeniowego i dokonuje wyboru programu? Wreszcie, jak wygląda kwestia 
praw autorskich do tekstu przekładu automatycznego? Trzeba zaznaczyć, że 
programy tłumaczeniowe wciąż się uczą, więc ten sam tekst może być każdego 
dnia przetłumaczony inaczej. Cytowane na początku tłumaczenie haiku Borgesa 
wyglądało w wersji bazowej bardzo różnie, w zależności od daty wprowadzenia 
do programu: 


Google Translate (B) 


20.05.2019. 
Ogromna noc 

teraz to już nie jest coś innego 
ten zapach. 


3 Nawiasem mówiąc, Williams, jako pasjonat techniki, zapewne chętnie przystalby na 
taki eksperyment: „Z wykształcenia lekarz, chciał uczynić z pisania wiersza swego 
rodzaju pracę mechanika: nie miał nic przeciwko temu, aby wiersz powstawał jak 
samochód. Fetyszyzował czynność pisania na maszynie — uświadomiło mu to, że wier- 
sze robi się tak samo, jak przedmioty, że wiersz jest mechanizmem składającym się 
z części: nie z idei, ale ze słów i zdań” (Pyzik). 

4 Na temat kompetencji autorskich tłumacza zob. Legeżyńska. 
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28.05.2019. 

Ogromna noc 

teraz to już nie jest coś innego 
to zapach. 


05.06.2019. 

Ogromna noc 

to nie jest teraz coś innego 
to zapach. 


28.09.2019. 

Ogromna noc 

to już nie jest coś innego 
Co za zapach. 


Czy w przyszłości literatura piękna będzie tłumaczona maszynowo? Nie- 
przystawalność literatury i przekładu automatycznego wydaje się fundamen- 
talna, nie tylko ze względu na brak zaangażowania emocjonalnego ze strony 
komputera, ale również na wartość języka artystycznego. Algorytmy dążą do 
tekstu poprawnego i brzmiącego naturalnie, ponieważ takie są oczekiwania 
odbiorców. Wszelkie udziwnienia — wyrażenia odbiegające od prototypo- 
wych - traktowane są jako usterki. Tymczasem literatura, a zwłaszcza poezja, 
często kontestuje język. I to nie tylko literatura awangardowa. Z drugiej strony, 
programy tłumaczeniowe mają na celu dostarczenie poprawnej treści brzmią- 
cej naturalnie, ale to nie znaczy, że tylko takie cele są możliwe. Być może 
technologie, które obecnie są dostępne jedynie w wielkich firmach takich jak 
Google, w bliższej lub dalszej przyszłości będą dostępne dla każdego. Może 
każdy użytkownik programów tłumaczeniowych będzie mógł je dowolnie ka- 
librować pod względem stylu. Może osiągalne będzie uzyskiwanie na przykład 
tłumaczeń rymowanych, tłumaczeń o określonej liczbie sylab — taka próba 
była zresztą podjęta w zespole Googlea w 2010 roku, jeszcze w paradygmacie 
tłumaczenia statystycznego (Genzel, Uszkoreit, Och). W każdym razie obecnie 
efekt artystyczny - jeśli jakiś się pojawia — jest dziełem przypadku. Programy 
tłumaczeniowe nie działają według kryteriów „czy to jest piękne”, „czy to dobrze 
brzmi, „czy to dobrze wygląda jako tekst graficzny”. Ale może w przyszłości 
będzie możliwe tłumaczenie automatyczne zorientowane na efekt estetyczny. 
Być może da się kiedyś nauczyć algorytm, czym jest „dobry wiersz”, pokazując 
mu dobre (w naszej ocenie) teksty. Może kiedyś program tłumaczeniowy wygra 
poetycką grę imitacji? Czy wówczas będzie można powiedzieć, że komputer 
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potrafi tłumaczyć poezję? Nie wiadomo. Wiadomo, że obecnie nie potrafi, 
czasami tylko trafi. I jeżeli jest to sztuka, to jedynie w naszych oczach. A może 
to tylko sztuczka? Pewne jest, że osoba tłumacza zasługuje na uwagę. Nawet 
jeśli nie jest to osoba ludzka. 
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| Abstrakt 


JOANNA STUDZIŃSKA 
Test Turinga dla (automatycznego) przekładu poezji 


W 1950 roku wybitny brytyjski matematyk Alan Turing zaproponował test okre- 
ślający zdolność komputera do generowania zdań języka naturalnego. Komputer 
pomyślnie przechodził próbę, jeśli rozmawiający z nim za pośrednictwem ekranu 
człowiek nie był w stanie stwierdzić, czy jego interlokutorem jest homo sapiens, czy 
maszyna. Dziś dynamiczny rozwój komputerowych programów tłumaczeniowych 
skłania do pytań o możliwości maszynowego przekładu tekstu literackiego, w tym 
poetyckiego. Czy tłumacz elektroniczny może przełożyć wiersz tak, by odbiorca 
myślał, że przekładu dokonał człowiek? Jakie zjawiska językowe i tekstowe najbar- 
dziej demaskują sztuczną inteligencję translatora? Czy stworzony w ten sposób 
tekst można rozpatrywać w kategorii dzieła sztuki? 


Słowa kluczowe: przekład automatyczny, przekład poezji, test Turinga, 
Google Translate, DeepL, Microsoft Bing 


| Abstract 


JOANNA STUDZIŃSKA 
The Turing Test for the (Machine) Translation of Poetry 


In 1950, the brilliant British mathematician Alan Turing proposed a test to deter- 
mine a computers ability to generate natural language sentences. The computer 
passed the test when the human communicating with it by means of a screen was 
unable to discern if they were talking to another human or to a machine. Today the 
dynamic development of machine translation software makes us wonder about the 
possibilities of automatically translating literature, including poetry. Can a com- 
puter-generated translation pass for a human one? What linguistic and textual 
phenomena are most likely to expose the artificial intelligence of the translator? 
Can the computer-generated translation be viewed as a work of art? 


Keywords: machine translation, poetry translation, Turing test, Google 
Translate, DeepL, Microsoft Bing 
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